Dilahirkan di Graz, Austria, Franz Ferdinand merupakan anak sulung kepada Archduke Karl Ludwig dari Austria (adik lelaki Maharaja Franz Josef) dan isteri keduanya, Puteri Maria Annunciata dari Dua Sicily. Ketika beliau berumur 12 tahun, saudara sepupunya, Duke Francis V dari Modena, mangkat dan menamakan Franz Ferdinand sebagai pewarisnya, dengan syarat bahawa Franz menambahkan nama Este pada nama sendiri. Oleh itu, Franz Ferdinand menjadi salah satu daripada orang terkaya di Austria.

Ketika dilahirkan, tidak adanya sebarang alasan untuk menganggap bahawa Franz Ferdinand akan menjadi pewaris raja Austria-Hungary. Beliau diberikan pendidikan archduke yang ketat, dengan penekanan kepada sejarah dan watak moral. Guru peribadinya dari tahun 1876 hingga 1885 ialah ahli sejarah, Onno Klopp. Pada tahun 1877, Franz Ferdinand menyertai tentera, dengan pangkat leftenan ketiga.

Pada masa mudanya, Franz Ferdinand mempunyai dua keghairahan yang utama: pemburuan serta pelancongan. Beliau dianggarkan menembak melebihi 5,000 ekor rusa pada seumur hidupnya. Pada tahun 1883, beliau melawat Itali buat pertama kali untuk menguruskan harta pusakanya daripada Duke Francis V dari Modena. Beliau melawat Mesir, Palestin, Syria, dan Turki pada tahun 1885, dan Jerman pada tahun 1889.

Kehidupan Franz Ferdinand berubah secara dramatik pada tahun 1889. Saudara sepupunya, Putera Mahkota Rudolf membunuh diri di telatap pemburuannya di Mayerling, dan meninggalkan ayah Franz Ferdinand, Archduke Karl Ludwig, menjadi orang pertama dalam susunan untuk menduduki takhta. Mulai dari saat itu, Franz Ferdinand dipersiapkan untuk menjadi Raja.